Dilahirkan di Jelebu, Negeri Sembilan. Rais lahir daripada pasangan asal Minangkabau, Mohammad Yatim alias Jatin bin Tahir gelar Pandeka Takue (bapa) dan Siandam (ibu).[3] Bapanya merupakan seorang pedagang yang berasal dari Palupuh, Agam, Sumatera Barat.[4] Pada tahun 1920-an, bapanya pergi merantau ke Klang dan terus ke Gagu. Sedangkan Siandam ibunya, berasal dari Kampung Sipisang, Palupuh, Agam. Ketika berumur belasan tahun, ibunya pergi merantau ke Sungai Serai, kemudian Kampung Katub, Lenggeng dan akhirnya di Jelebu. Rais mempunyai adik-beradik seramai tiga orang: Naam (lahir 1927 tinggal di Kampung Mengkan), Suri (lahir 1932 dan meninggal pada tahun 1989 ketika berumur 60 tahun), dan Atan (lahir 1936 tinggal di Kampung Gagu).

Beliau pernah menjadi guru bahasa selepas tamat perguruan di Institut Bahasa Lembah Pantai pada tahun 1964. Beliau melanjutkan pelajaran dalam bidang undang-undang di High University of Singapore dan menerima ijazah pertama pada tahun 1973. Beliau memperolehi ijazah kedoktoran undang-undang dari University of London pada 1994.